AWS與Hugging Face攜手開創更簡易、更高效的生成式AI應用新視界
- DIGITIMES / 台北
- 2024-04-21 10:38:27
在當今科技發展中，生成式AI(Generative AI)無疑是最炙手可熱的話題之一。從寫作、繪圖到程式編碼，生成式AI正在顛覆傳統，開啟全新的創作模式。然而，要建置、訓練和部署大型語言與視覺模型，卻是一項高成本且耗時的過程，需要機器學習專業知識和AI系統開發實務經驗。這使得生成式AI對於許多開發者而言，仍是遙不可及的技術。
為了打破這個障礙，AWS與人工智慧公司Hugging Face攜手合作，致力於讓生成式AI更加易於取得、更具成本效益。這項合作旨在簡化開發者使用AWS服務部署Hugging Face模型的流程，讓他們能夠更快速地將生成式AI應用程式投入生產環境，同時提升效能並降低成本。
高效能與節省成本的生成式AI
建置、訓練和部署大型語言與視覺模型，需要龐大的計算資源和時間投入，對於大多數開發者而言，實在是一大挑戰。這些模型複雜度極高，可能包含數百億個參數，使得生成式AI對許多開發者而言仍是遙不可及。
為了彌平這個鴻溝，Hugging Face決定與AWS深化合作，讓開發者更容易取用AWS服務，並專門為生成式AI應用程式部署Hugging Face模型。這項合作的好處在於:加快訓練速度、擴展低延遲且高吞吐量的推論能力。舉例來說，搭載AWS Trainium晶片的Amazon EC2 Trn1實例，不僅可以縮短訓練時間，還可為訓練成本節省高達50%。而新一代的Amazon EC2 Inf2實例則採用AWS Inferentia第二代晶片，專為部署最新一代的大型語言和視覺模型而打造，相較於Inf1，它能提供高達4倍的吞吐量和10倍的低延遲性能。
此外，開發者也可以透過Amazon SageMaker等受管理服務，使用AWS Trainium和AWS Inferentia加速器，同時可以搭配SageMaker提供的其他機器學習工具進行開發。
大家都在看
